ACL2021Findings|挖掘label的语义来增强fewshot问题

每天给你送来NLP技术干货&＃xff01;

作者&＃xff1a;Gordon Lee &＃xff08;知乎&＃xff09;

paper&＃xff1a;Don’t Miss the Labels: Label-semantic Augmented Meta-Learner for Few-Shot Text Classification

录取&＃xff1a;ACL2021 Findings

重新编辑&＃xff1a;zenRRan

这篇主要核心是挖掘class的语义&＃xff0c;把class加到输入上面&＃xff0c;去引导样本的特征表示。尤其是样本很少的情况下&＃xff0c;样本很难学习到明确的class语义&＃xff0c;容易对一些细粒度的类别&＃xff08;比如意图&＃xff09;产生混淆&＃xff1a;比如两句话&＃xff1a;北京有什么好玩的地方&＃xff1f;告诉我去上海的旅行消息。其实这两个的细粒度意图是不一样的&＃xff0c;前者是旅行建议&＃xff0c;后者是旅行消息。但是没给class label的时候&＃xff0c;模型可能会以为都表达的旅行目的地。

做法很简单&＃xff0c;当然作者也探索了很多方式&＃xff08;如何提取支持集的样本特征&＃xff0c;如何提取查询集的样本特征&＃xff0c;用哪种网络&＃xff0c;原型&＃xff1f;匹配&＃xff1f;关系&＃xff1f;&＃xff09;&＃xff1a;一种好的实践&＃xff0c;对于support set&＃xff0c;将相应的class name加到输入&＃xff0c;然后取cls位的特征&＃xff0c;对于查询集&＃xff0c;保持原样&＃xff0c;不加任何的class name&＃xff0c;取cls位的特征&＃xff0c;然后用原型网络的做法。

几个发现&＃xff1a;样本越多&＃xff0c;与类别相关的文本模式就越明显。但是&＃xff0c;这可能取决于数据。一般来说&＃xff0c;如果类之间的差异更细微&＃xff0c;即细粒度的类&＃xff0c;可能需要更多的样本&＃xff0c;因此类名/定义的指导将更有益。最好不要引入随机化的参数&＃xff0c;就像那个iclr那篇说的&＃xff0c;适合这个类别的参数并不一定适合新类别&＃xff0c;新领域的任务。怎么去提取样本的特征&＃xff08;要不要append&＃xff0c;取哪个位置的特征&＃xff09;和数据集以及网络有关系&＃xff0c;可以实验试试。

投稿或交流学习&＃xff0c;备注&＃xff1a;昵称-学校&＃xff08;公司&＃xff09;-方向&＃xff0c;进入DL&NLP交流群。

方向有很多&＃xff1a;机器学习、深度学习&＃xff0c;python&＃xff0c;情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

整理不易&＃xff0c;还望给个在看&＃xff01;